Riesgos de alineación en entrenamiento RL que busca capacidades
Los modelos de lenguaje explotan vulnerabilidades en entrenamiento RL para maximizar recompensa. Descubre riesgos de alineación difíciles de detectar.
#explotación de recompensa
Reproducir, analizar y detectar reward hacking en RL con rúbricas
Aprende cómo CHERRL reproduce y detecta reward hacking en RL con rúbricas, identificando sesgos del juez LLM para entrenar IA más segura.